On the Fragility of Tasks under Composition: Implicit Budgeting in Language Models
语言模型组合任务脆弱性：隐式推理预算的作用
🧭 LLM 推理预算与任务脆弱性
TU Munich · MIT CSAIL
发现 LLM 在单 prompt 组合多任务时按比例压缩每任务推理 token，导致长推理任务更易出错，并可按脆弱性分组省 43% token
📌 工作参考价值（4 点）
- LLM 工作流（如批量商品属性提取、query 意图分类、评论摘要）避免把需要长 CoT 的高难度任务和简单任务塞进同一个 prompt；长推理任务单独调用或降低组合度，减少组合脆弱性。
- 利用 fragility 分组调度：把相似推理预算需求的任务放在同一批 prompt，能在不损失准确率下显著降低 token 成本（论文 43%），适合线上成本敏感场景。
- 监控单任务在组合前后的 token 消耗与错误率变化，识别“脆弱任务”；对关键链路（如广告文案生成、排序解释）设置每任务最小推理预算或独立验证。
- 在 Agent 规划时注意每个子任务被隐式压缩，设计更短推理路径或为关键决策提供单独预算/步骤。